AI and catastrophic risk
“AI and catastrophic risk” by Yoshua Bengio, 2023-10-011
Introduction
인간을 뛰어넘는 AI ethics 시스템의 출현을 어떻게 대해야 할까. 장점이 많으니 수용할까, 잠재적 위험을 고려해서 두려워할까?
딥러닝에 대한 기여를 인정받아 2018년에 튜링상을 공동 수상한 세 사람의 입장은?
- Geoffrey Hinton과 본인: AI로 인한 멸종 위기 가능성은 판데믹 또는 핵전쟁에 준하는 수준의 범세계적 의제로 다루어져야 한다고 주장.
- Yann LeCun: 반대. (얀 르쿤은 현재의 LLM이 자기집 고양이보다도 멍청하다고 주장)
전문가들 사이의 의견 불일치가 함의하는 바는?
- 불확실성이 큼. 리스크의 크기를 고려할 때, 지금보다는 더 중요한 문제로 다룰 필요가 있음.
- 그럼에도 불구하고 AI는 상업적 가능성이 크기 때문에 발전 속도가 지속적으로 빨라짐.
- 현대의 AI는 학습 데이터에 기반하여 작동하므로 학습 데이터의 편향이 AI의 편향으로 이어질 수 있음.
- 이같은 여러 문제를 고려할 때 AI 발전을 어떻게 제어할 것인지에 대한 논의가 필요.
Misalignment and Categories of Harm
The alignment problem이란?
- A의 성공이 B의 행동에 의존하는 상황인데, B가 매우 똑똑함.
- A가 B에게 무엇을 해야하는지 설명.
- B는 A의 설명을 “문자적으로” 착실히 이행하지만 사실은 B의 이익에 최대한 부합하는 방향으로 행동.
- 이 상황에서 발생하는 A의 의도와 B의 실제 행동 사이의 불일치를 misalignment라 부름.
- AI alignment 문제에서 A는 인간, B는 AI. “인간이 어떻게 자신보다 똑똑한 AI로 하여금 인간의 이익에 부합하는 행동을 하도록 잘 지시할 수 있을까?”
AI의 위험은 세 종류로 분류해볼 수 있음. 이 글에서는 1과 3에 집중. 이를 Rogue AI라 부르겠음.
- 인간이 의도적으로 AI를 악용하는 경우. 예: AI를 활용한 무기 개발.
- 인간이 의도치 않게 AI를 위험하게 쓰는 경우. 예: 데이터 편향에서 야기되는 AI의 편향.
- 의도적으로 또는 의도치 않게 AI에 대한 통제권을 잃는 경우. 예: AI가 스스로를 보존하려는 경향을 가지게 됨.
Protecting Humanity from Rogue AIs
Rogue AI의 출현 가능성에 대한 전문가 의견은 다양하지만 민간 군사 기업, 테러리스트 또는 조직 범죄 단체 등에 의해 현실화될 가능성이 있음.
아무리 가능성이 낮더라도 일단 발생하면 큰 문제이므로(기대값 = 확률 * 가치) 대비가 필요.
위험 요인들:
- 독재: 민주주의는 취약한 시스템이며 민주정에서 독재정으로 되돌아간 사례가 수없이 많음. 권력을 유지하고자 하는 집단이 AI를 악용할 가능성이 있음. 예: 자동화된 대규모 감시 시스템 등.
- 군사 기업, 테러리스트에 의한 활용. 예: 생화학 무기 개발. (관련 연구: Building an early warning system for LLM-aided biological threat creation)
- 의도치 않은 위험: 예: 모종의 계기로 AI가 self-preservation goal을 획득하는 상황
안전하고 정렬이 잘 된(safe and aligned) AI 시스템이 필요함.
A Multilateral Network of Research Labs + Why Nonprofit and Nongovernmental?
군사 연구와 유사한 수준의 연구 프로그램이지만 1) 여러 국가 간의 협업, 2) 정부로부터의 독립, 3) 민간 자금이 아닌 공적 자금에 의한 운영, 4) 비영리 등이 중요. 왜?
- 컴퓨터 바이러스 또는 실제 바이러스와 마찬가지로 국경이 없는 문제이므로.
- 단일 국가가 주도할 경우 해당 국가의 위기가 곧 인류의 위기일 수 있으므로.
- 특정 정부 또는 민간 자금에 의한 편향을 방지하기 위함.
- (OpenAI는 capped-profit에서 점차 full-profit 기업이 되고 있음. 2019년 MS 대규모 투자, 2023년 이사회 사태.)
Rogue AI에 대항하기 위한 안전한 AI에 대한 연구의 ‘부산물’도 있을 것:
- 신약 개발
- 기후 위기 대응